ビデオ処理を記述するための方法、装置および機械可読記録媒体

专利摘要:
上流のビデオプロセッサはビデオデータに対してビデオ処理を実行して処理されたビデオデータを作成する。ビデオ処理は色補正、コントラスト補正、ガンマ補正、鮮鋭度エンハンスメント、およびエッジエンハンスメントの少なくとも一つを含む。実行されたビデオ処理を示すメタデータも生成される。処理されたビデオデータ及びメタデータは下流のビデオプロセッサに受け渡され、メタデータは、もしあれば更なるビデオ処理を適用するかを決定するために用いられる。中間ビデオプロセッサはビデオデータとそれに対して上流のビデオプロセッサにより実行されたビデオ処理を示すメタデータとを受信する。受信したメタデータに基づき付加的なビデオ処理が実行され、付加的なビデオ処理を示す新たなメタデータが生成される。受信したメタデータ及び新たなメタデータから複合メタデータが生成され、処理されたビデオデータと共に下流のビデオプロセッサに受け渡され、もしあれば更なるビデオ処理を適用するかを決定するために用いられる。
公开号:JP2011507416A
申请号:JP2010538296
申请日:2008-12-16
公开日:2011-03-03
发明作者:グレン デビッド
申请人:エーティーアイ・テクノロジーズ・ユーエルシーＡｔｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｕｌｃ；
IPC主号:H04N5-14

专利说明:

[0001] 本発明は一般的にビデオ処理に関し、更に詳しくはビデオ処理を記述するための方法および装置に関するものである。]
背景技術

[0002] 動画ビデオは典型的には所定のフレームレートで記録されあるいは符号化される。例えば、映画フィルムは通常２４フレーム毎秒（ｆｐｓ）の固定レートで記録されている。一方、ＮＴＳＣ規格に従うテレビ受像機のための放送としてのビデオは３０ｆｐｓで符号化される。欧州ＰＡＬ又はＳＥＣＡＭ規格に従うビデオ放送は２５ｆｐｓで符号化される。]
[0003] フレームレート間での変換が多くの課題を生み出してきている。ある一般的なフレームレート変換の技術は、フレームシーケンス内でのフレームの落とし(dropping)又は反復を伴う。例えば、テレシネ(telecine)変換（しばしば３：２プルダウンと称される）は、２４ｆｐｓ動画ビデオを６０フィールド毎秒（３０ｆｐｓ）に変換するために用いられる。秒毎フレームは３ビデオフィールドをスパンする一方、他の秒毎フレームは２フィールドをスパンする。テレシネ変換は、例えば、チャールズ・ポイントン、デジタルビデオとＨＤＴＶアルゴリズムとインターフェース、（サンフランシスコ：モルガンカウフマンパブリッシャーズ、２００２）(Charles Poynton, Digital Video and HDTV Algorithms and Interfaces, (San Francisco: Morgan Kaufmann Publishers, 2003))に詳しく、その内容は参照のためここに組み込まれる。]
[0004] フレームレート変換のための他の様々な技術が、ジョン・ワトキンスン「技術者のための標準変換ガイド」、スネルとウィルコックス・ハンドブックシリーズ(John Watkinson "The Engineer's Guide to StandardsConversion", Snell and Wilcox Handbook Series)において論じられている。]
[0005] もっと最近では、フレームレート変換は、フォーマット及び規格間の変換のためだけではなく、ビデオ品質全般を高めるためにも用いられてきている。例えば、従来のＰＡＬテレビ受像機につきものである認知可能なちらつきを低減するために、高フレームレート１００フィールド毎秒（５０ｆｐｓ）テレビ受像機が利用可能になっている。]
発明が解決しようとする課題

[0006] 将来的には、更に高いフレームレートが、より高品質なホームビデオを提供するための重要な要素になることであろう。しかしながら、既存のビデオは、そのような高いフレームレートをすぐに利用できるわけではない。そこで、フレームレート変換が必要になるであろう。そのような変換は、より高いレートのビデオを形成するために、受け入れたビデオを分析する必要性から少なくとも一部生じる多数の課題をリアルタイムで提示する。このことは、フレームレート変換と他のビデオ処理機能とが独立している現行のビデオ受信機では深刻になる。]
[0007] ビデオ再生装置（例えばＰＣ、ＤＶＤ−ビデオプレーヤ、高密度ＨＤ−ＤＶＤプレーヤ、ブルーレイ(Blu-Ray)ディスクプレーヤ、又はセットトップボックス）内に見られるビデオプロセッサ等のビデオプロセッサは、ビデオ画像の見え方や品質を改善するためにビデオ信号に対して様々な種類のビデオ処理を適用することができる。例えば、あるビデオプロセッサは、色補正、ガンマ補正、コントラクト補正、鮮鋭度補正若しくはエッジ・エンハンスメント、又はこれらの組み合わせを適用することができる。適用されるビデオ処理は全体として又は部分的にユーザの好みに基いているであろう。一旦処理されたビデオ信号は、ディスプレイ装置（例えば液晶ディスプレイ（ＬＣＤ）若しくはプラズマディスプレイ等のフラットパネルディスプレイ又はデジタルライトプロセシング（ＤＬＰ）若しくは液晶オンシリコン（ＬＣｏＳ）ディスプレイ等のリアプロジェクションディスプレイ）等の下流のコンポーネントに受け渡されることがある。下流の装置は、上流のビデオプロセッサが実行可能なのと同様なビデオ処理の幾つか又はすべてを場合によっては上流のビデオプロセッサで不可能な更なるビデオ処理と共に実行可能なビデオプロセッサを有していてよい。しかしながら、上流及び下流のビデオプロセッサが独立して機能していることを考慮すると、下流のビデオプロセッサは、もしあればどの更なるビデオ処理を実行すべきかについて確定することが困難であるかもしれない。]
[0008] 上述した欠点の少なくとも一部を未然に防ぎ又は軽減する解決方法が要望されている。]
課題を解決するための手段

[0009] 一つの側面によると、ビデオプロセッサにおいて、処理されたビデオデータを作成するビデオ処理をビデオデータに対して実行するステップと、前記処理されたビデオデータと前記実行されたビデオ処理を示す生成されたメタデータとを下流のビデオプロセッサに受け渡すステップとを含む方法が提供される。]
[0010] 他の側面によると、ビデオプロセッサにおいて、ビデオデータを受信するステップと、上流のビデオプロセッサによって前記ビデオデータに対して実行されたビデオ処理を示すメタデータを受信するステップと、前記メタデータに基づいて更なるビデオ処理がもしあればそれを前記ビデオデータに適用することを決定するステップとを含む方法が提供される。]
[0011] 他の側面によると、中間ビデオプロセッサにおいて、ビデオデータを受信するステップと、上流のビデオプロセッサにより前記ビデオデータに対して先に実行されたビデオ処理を示すメタデータを受信するステップと、前記受信したメタデータに基づいて、付加的なビデオ処理を前記ビデオデータに対して実行し、処理されたビデオデータを作成するステップと、前記処理されたビデオデータと前記受信したメタデータ及び前記実行された付加的な処理を示す新たなメタデータに基づく複合メタデータとを下流のビデオプロセッサに受け渡すステップとを含む方法が提供される。]
[0012] 他の側面によると、プロセッサにより実行されたときに、処理されたビデオデータを作成するビデオ処理をビデオデータに対して実行するステップと、前記処理されたビデオデータと前記実行されたビデオ処理を示す生成されたメタデータとを下流のビデオプロセッサに受け渡すステップとを前記プロセッサに実行させる命令を記憶している機械可読記録媒体が提供される。]
[0013] 他の側面によると、プロセッサにより実行されたときに、ビデオデータを受信するステップと、上流のビデオプロセッサによって前記ビデオデータに対して実行されたビデオ処理を示すメタデータを受信するステップと、前記メタデータに基づいて更なるビデオ処理がもしあればそれを前記ビデオデータに適用することを決定するステップとを前記プロセッサに実行させる命令を記憶している機械可読記録媒体が提供される。]
[0014] 他の側面によると、プロセッサにより実行されたときに、ビデオデータを受信するステップと、上流のビデオプロセッサにより前記ビデオデータに対して先に実行されたビデオ処理を示すメタデータを受信するステップと、前記受信したメタデータに基づいて、付加的なビデオ処理を前記ビデオデータに対して実行し、処理されたビデオデータを作成するステップと、前記処理されたビデオデータと前記受信したメタデータおよび前記実行された付加的なビデオ処理を示す新たなメタデータに基づく複合メタデータとを下流のビデオプロセッサに受け渡すステップとを前記プロセッサに実行させる命令を記憶している機械可読記録媒体が提供される。]
[0015] 他の側面によると、処理されたビデオデータを作成するビデオ処理をビデオデータに対して実行するための少なくとも一つの機能ブロックと、前記実行されたビデオ処理を示すメタデータを生成し前記処理されたビデオデータと共に下流のビデオプロセッサに受け渡すためのメタデータフォーマッタとを備えたビデオプロセッサが提供される。]
[0016] 他の側面によると、ビデオデータを受信するためのバッファと、上流のビデオプロセッサによって前記ビデオデータに対して実行されたビデオ処理を示す受信したメタデータを復号化するためのメタデータ復号器と、更なるビデオ処理を前記ビデオデータに対して実行するための少なくとも一つの機能ブロックとを備え、前記更なるビデオ処理は少なくとも一部を前記メタデータにより決定されるビデオプロセッサが提供される。]
[0017] 他の側面によると、ビデオデータを受信するためのバッファと、上流のビデオプロセッサにより前記ビデオデータに対して先に実行されたビデオ処理を示す受信したメタデータを復号化するためのメタデータ復号器と、前記メタデータに基いて決定され、処理されたビデオデータを作成する更なるビデオ処理を前記ビデオデータに対して実行するための少なくとも一つの機能ブロックと、複合メタデータを生成し前記処理されたビデオデータとともに下流のビデオプロセッサに受け渡すためのメタデータフォーマッタとを備え、前記複合メタデータは前記受信したメタデータと前記実行された付加的なビデオ処理を示す新たなメタデータとに基づいている中間ビデオプロセッサが提供される。]
[0018] 本開示の更に他の側面及び特徴は、以下の具体的な実施形態の記述を添付図面と共に精査することにより、当業者に明らかなものとなるであろう。]
図面の簡単な説明

[0019] 本発明の実施形態を例示のみを目的として示す図面において：
ビデオ受信機の例を示す簡略化された概略ブロック図。
図１の装置の一部をなすビデオ復号器の簡略化された概略ブロック図。
図１の装置の一部をなすビデオプロセッサの簡略化された概略ブロック図。
図１の装置の一部をなすフレームレート変換器の簡略化された概略ブロック図。
フレームレート変換出力、符号化／処理された出力、及び元のビデオソースにおけるフレームを概略的に示す図。
符号化フレームシーケンスからのフレームレート変換されたビデオ出力におけるモーションを３：２プルダウンパターンとして示すモーショングラフ。
ビデオ受信機の代替例を示す簡略化された概略ブロック図。
図７の装置の一部をなすビデオプロセッサの簡略化された概略ブロック図。
図７の装置の一部をなすもう一つのビデオプロセッサの簡略化された概略ブロック図。
図８のビデオプロセッサの動作を示すフローチャート。
図９のビデオプロセッサの動作を示すフローチャート。
例示的なシステムの簡略化された概略ブロック図。
図１２のシステム内の中間装置におけるビデオプロセッサの簡略化された概略ブロック図。
図１３のビデオプロセッサの動作を示すフローチャート。] 図１ 図１２ 図１３ 図７ 図８ 図９
実施例

[0020] 図１は例示的なビデオ受信機１０の概略ブロック図である。図示されるように、ビデオ受信機１０は、ビデオ復号器１２と、ビデオプロセッサ１４と、フレームレート変換器（ＦＲＣ）１６と、ディスプレイインタフェース１８とを含む。ビデオ受信機１０は、セットトップボックス、衛星放送受信機、地上波放送受信機、メディアプレーヤ（例えばＤＶＤ−ビデオプレーヤ）、メディア受信機、又は同種のものの形態であってよい。受信機１０（又はその一部分）は、ディスプレイ装置、例えば、フラットパネルテレビ受像機、コンピュータモニタ、ポータブルテレビ受像機、携帯型装置（個人用デジタル補助器、携帯電話機、ビデオプレーヤ等）、又は同種のものにおいて随意的に一体化されていてよい。] 図１
[0021] 受信機１０は、カスタムハードウエアの形態であってよく、あるいはソフトウエア制御下でのカスタムハードウエアと汎用コンピュータハードウエアとの組み合わせであってよい。]
[0022] 以下明らかになるように、ビデオ受信機１０は、ビデオ放送、デジタルビデオストリーム又は同種のものの形態にあるビデオを受信する。続いて復号器１２は、受信したビデオを復号化してビデオフィールド又はフレームを形成する。ビデオプロセッサ１４は、復号化されたフィールド又はフレームを処理して、受信したビデオについてスケーリング、デ・インターレーシングその他の操作を行う。ＦＲＣ１６は、復号化されたビデオのフレームレートとは異なる所望のフレームレートでビデオを生成するために、処理されたビデオのフレームレートを変換する。結果としてのより高いレートのフレームは、ディスプレイインタフェース１８によって鑑賞のためにディスプレイ２０上に提示される。ディスプレイインタフェース１８は、ＦＲＣ１６により生成されたフレームビデオを抽出しあるいは受信して、表示のための画像を提示することができる。]
[0023] ディスプレイインタフェース１８は、例えば、標準的なランダムアクセスメモリデジタルアナログ変換器（ＲＡＭＤＡＣ）、ＶＧＡ、Ｓ−ビデオ、コンポジットビデオ（ＣＶＢＳ）、コンポーネントビデオ、ＨＤＭＩ（商標）、ＤＶＩ若しくはディスプレイポート(DisplayPort)（登録商標）規格に適合するシングルエンド若しくは差動の送信機、又はディスプレイ２０上でのアナログ若しくはデジタルでの表示のためにデータを変換するのに好適なあらゆる他のインタフェースの形態であってよい。]
[0024] ビデオが復号化されビデオプロセッサ１４により処理されつつ、受信したビデオのフレームレート変換を実行するに際してのＦＲＣ１６による使用に適したビデオ属性情報が抽出されてよい。属性情報はビデオプロセッサ１４からＦＲＣ１６へと下流に受け渡される。図示された実施形態では、二つの別個のチャネル２２、２４がビデオデータ及び属性情報をビデオプロセッサ１４からＦＲＣ１６に受け渡すために用いられてよい。ＦＲＣ１６は、次いで、受信した属性情報を用い、そして同一のあるいは類似の属性情報を得る（例えば抽出する、決定する、計算する等）ために、復号化されたビデオフレームを解析する必要はない。]
[0025] より具体的には、ビデオ復号器１２は受信したビデオ信号を画素値のストリームに復号化する。ビデオ復号器１２に到着するビデオ信号は、あらゆる従来からのソース、例えば衛星、あるいはケーブルテレビチャネル、地上波放送チャネル、ローカルビデオアーカイブ又はＤＶＤ−ビデオプレーヤ等の周辺機器からのものであってよい。ビデオ信号はアナログ又はデジタルであってよい。従って、ビデオ復号器１２は、数あるビデオ符号化／圧縮規格のうちのいずれか、例えば、ＭＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４、ｄｉｖＸ、ＩＴＵ推奨ＩＴＵ−Ｈ．２６４、ＨＤＭＩ（商標）、ＡＴＳＣ、ＰＡＬ若しくはＮＴＳＣテレビ放送、デジタルビデオ（例えばＩＴＵＢＴ．６０１）又は同種のものに適合する標準的なビデオ復号器の形態であってよい。]
[0026] 説明の容易化のため、例示的なビデオ復号器１２はＭＰＥＧ適合復号器として図２に示されており、従って、ビデオ復号器１２は、標準的なＭＰＥＧ復号器において見られ当業者に知られているように、受信したビデオストリームを構文解析するための構文解析器(parser)３０と、可変長復号器（ＶＬＤ）３２と、モーション補償ブロック（ＭＣ）３４と、ランレングス(run length)復号器及び逆量子化(inverse quantization)（ＲＬ＆ＩＱ）ブロック３６と、逆離散的コサイン変換ブロック（ＩＤＣＴ）３８と、画像再構成ブロック４０と、フレーム／フィールドを記憶するためのメモリ４２とを含む。復号器１２はリンク２６を経由してビデオプロセッサ１４と通信する。リンク２６はシリアル又はパラレルリンクであってよい。] 図２
[0027] ビデオプロセッサ１４の例は図３に描かれている。図示されるように、ビデオプロセッサ１４は、ビデオ復号器１２から受信した画素値をバッファリングするためにメモリ５８内に少なくとも一つのバッファを含む。例示的なビデオプロセッサ１４は、ビデオを処理するための幾つかの機能ブロックを含む。各ブロックは単一の機能を実行することができる。ビデオプロセッサ１４の例は、スケーラ(scaler)５０と、デ・インターレーサ(de-interlacer)５２と、色空間変換器５４と、イフェクツ／オーバレイエンジン(effects/overlay engine)５６と、ノイズ抑制ブロック４８とを含む。当業者であれば、ビデオプロセッサ１４が特に図示されていない付加的な機能ブロックを含んでよいことは容易に理解するであろう。] 図３
[0028] 内部バス６０はスケーラ５０、デ・インターレーサ５２、色空間変換器５４、イフェクツ／オーバレイエンジン５６、及びメモリ５８を相互接続する。幾つかの実施形態では、それら構成部品を多重化内部バスが相互接続してよい。]
[0029] 属性フォーマッタ６２が更にビデオプロセッサ１４の他の機能ブロックと通信する。属性フォーマッタ６２は、スケーラ５０、デ・インターレーサ５２、色変換器５４、イフェクツ／オーバレイエンジン５６、及びノイズ抑制器４８からビデオ属性情報を受信する。更なるチャネル符号器６４は、属性フォーマッタ６２によりフォーマットされたようにして属性データを更にフォーマットし、チャネル２４を介してＦＲＣ１６（図１）へ送信する。] 図１
[0030] 図４には、ＦＲＣ１６の例が更に詳しく描かれている。図示されるように、ＦＲＣ１６の例は、バッファ６６と、フレームレート変換を可能にするためにバッファ６６内でフレームを補間する補間器７０とを含む。バッファ６６は、補間器７０により組み合わされることになる複数のシーケンシャルフレームを記憶するために用いられる先入れ先出しフレームバッファ又はリングバッファであってよい。バッファ６６は、例えば４つのシーケンシャルフレームＦを補間のために記憶することができる。フレームレート変換器１６は、更に、チャネル符号器６４及び属性符号器６２に対して相補的となるチャネル復号器７４及び属性復号器６８を含む。] 図４
[0031] 補間器７０は、バッファ６６内のフレームを補間するように機能し、スケーリングファクタＳＣＡＬＥ＿ＦＲＥＱＵを乗じて、バッファ６６での到着フレームの周波数に等しいフレームレート（周波数）で出力フレームを形成する。クロック信号（ＣＬＫ）は、フレームの到着のタイミングを計ると共に、ＦＲＣ１６がそれを受け継いで結果としてのフレームレートを導き出すことを可能にする。ＦＲＣ１６が各受信したフレームに対して二つ以上のフレームを生成するとき、補間器７０は、バッファ６６内にバッファリングされたフレーム間のモーションを表す補間フレーム(interpolated frames)を形成するように機能する。そのようなモーション補償補間は、バッファ６６における二つ以上の入力フレームからフレームレート変換器１６によって実行される。]
[0032] 補間器７０により実行されてよいモーション補償／補間技術は、一般的には、キース・ジャック、ビデオ、２００５、デミスティファイド（デジタル技術者のためのハンドブック）、第４版(Keith Jack, Video, 2005, Demystified (A handbook for the Digital Engineer), 4th ed.)、及びワトキンスン、ジョン、標準的変換への技術者ガイド、スネルとウィルコックスハンドブックシリーズ(Watkinson, John, The Engineer's Guide to StandardsConversion, Snell and Wilcox Handbook Series (http://www.snellwilcox.com/community/knowledge center/engineering/estandard.pdf))において論じられており、両者の内容は本願に参照のため組み入れられ、更に具体的には本願発明者の名による米国特許出願番号１１／６１６，１９２において論じられている。]
[0033] 明確化のため、ここで説明されるように、バッファされたフレーム（例えばビデオプロセッサ１４により出力される復号化されたフレーム）はフレームＦ０，Ｆ１，Ｆ２，…，Ｆｎとして参照され、一方ビデオソースにおける固有フレームはフレームＳ０，Ｓ１，Ｓ２，…として参照される。このように、例えば、２４ｆｐｓソースは、ソースフレームＳ０，Ｓ１，Ｓ２，Ｓ３…を有していてよく、そして、ビデオ復号器１２によってフィールド又はフレームとして復号化及び／又は再構成されることとなり、次いで必要とあればビデオプロセッサ１４によりデ・インターレーシングされてソースフレーム｛Ｓ０，Ｓ０，Ｓ０，Ｓ１，Ｓ１，Ｓ２，Ｓ２，Ｓ２，Ｓ３，Ｓ３，…｝に対応するフレーム｛Ｆ０，Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６，Ｆ７，Ｆ８，Ｆ９，…｝（６０ｆｐｓでの）を形成することとなるテレシネフォーマットに変換されたものであってよい。テレシネ変換されたフレームＦ０，Ｆ１，…又はフィールドは、アナログ（例えばＮＴＳＣ）フォーマット又はデジタルフォーマット（例えばＭＰＥＧストリーム等）で、ＤＶＤ等の記録媒体に記憶されていてよく、地上波、衛星若しくはＣＡＴＶ放送技術を用いて放送されてよく、又は他の方法で提供されてよい。ここで詳しく説明されるように、変換されたフレームレートの出力フレームは、順にフレームｆ０，ｆ１，ｆ２，…，ｆｎとして参照されてよく、フレームＦ０，Ｆ１，…から形成されたものであってよい。このことは模式的に図５に示されている。] 図５
[0034] また、ここで補間フレームはｌ｛Ｓｊ，Ｓｊ＋１，ｌ／ｍ｝と表される。この表記は、ＳｊからＳｊ＋１への分数ｌ／ｍモーションを表すように補間された、結果としてのモーション補間フレームを表し、元のフレームＳｊ，Ｓｊ＋１間の中間フレームを意味している。例えば、補間フレームｌ｛Ｓｊ，Ｓｊ＋１，１／２｝は、Ｓｊ及びＳｊ＋１の真ん中のモーションを表すように形成されたフレームである。このようなモーション補間は、フレームレート変換器１６によってバッファ６６内の二つの入力フレームから実行することができる。]
[0035] 図６は復号化／処理されたビデオフレーム及びフレームレート変換されたフレームを表現するグラフである。復号化／処理されたビデオフレームは点線に沿って示されており、補間されたビデオフレームは実線に沿って示されている。復号化／処理されたビデオフレームは円で表されており、一方、補間フレームは三角形で表されている。] 図６
[0036] すぐに理解されるであろうように、復号化／処理されたフレーム間の補間の程度は、どのフレームが補間器により補間されることになるのかと同様、復号化／処理されたビデオフレームＦの律動(cadence)に依存している。例えば、３：２プルダウンパターン且つ周波数スケーリングレートが２（ＳＣＡＬＥ＿ＦＲＥＱＵ＝２）の場合には、補間器７０は、各補間されたフレームのモーションを１／５前進させ、２：２プルダウンの場合には１／４前進させ、プルダウン無しの場合には１／２前進させる。]
[0037] 図６はビデオプロセッサ１４による出力としてのフレームシーケンスの例におけるモーションを示している。より具体的には、図６はビデオプロセッサ１４から出力されたフレームシーケンス例Ｆ０，Ｆ１，Ｆ２，Ｆ３，…の動きを示している。描かれたフレームシーケンスは、３：２プルダウンソースに由来しており、典型的には２４フレーム毎秒（ソースフレームＳ０，Ｓ１，Ｓ２，Ｓ３…と示される）からインターレーシングされた６０フィールド毎秒へ、更に６０ｆｐｓフレームへの変換に起因するものである。従って、元の（映画）ソースにおける各秒フレームは２回サンプリングされる一方で、元のソースにおける一つおきの秒フレームは３回サンプリングされる。結果としてのフレームＦ０，Ｆ１，Ｆ２，Ｆ３は、インターレーシングされたフィールドをデ・インターレーシングすることにより形成されるような３：２プルダウンパターンを示す。] 図６
[0038] 結果としてのフレームシーケンスは、第３、第５、第８、第１０等の復号化フレームの後だけのモーションに付随するぎこちない動き（「ジャダ(judder)」と称される）を示している。このジャダは、ビデオソースの律動には計上されないフレームレート変換の後にも残存する。]
[0039] 知覚可能なジャダを除去しあるいは低減するために、フレームレート変換器１６は、隣り合うソースフレームを補間して、レート変換されたフレームシーケンスを形成する。]
[0040] 動作においては、ビデオストリームはビデオ復号器１２により受信され、ビデオ復号器１２は、次いでストリームを構文解析して所定の解像度を有する一連のフィールド又はフレームを形成する。一連のフィールド又はフレームは、画素ストリームとしてビデオプロセッサ１４に供給される。復号化されたビデオのフォーマットは、典型的には符号化されたビデオのフォーマットによって決定されている。例えば、水平、垂直解像度；アスペクト比；色フォーマット；ビデオがフレーム又はフィールドとして供給されるか否かは、ビデオ符号化の時点で決定されている。]
[0041] ビデオプロセッサ１４では、スケーラ５０、デ・インターレーサ５２、色変換器５４、及びオーバレイエンジン５６が標準的な方法で動作し、出力ビデオのフレームを提供する。ビデオの処理に際して、スケーラ５０、デ・インターレーサ５２、色変換器５４及びオーバレイエンジン５６は、ビデオ属性データを抽出及び／又は創出する。スケーラ５０、デ・インターレーサ５２、色変換器５４、及びオーバレイエンジン５６の動作の順序は重要でなく、設計目的に基いて異なっていてよい。]
[0042] 例えば、スケーラ５０は、復号化されたビデオを所望のサイズ及びアスペクト比に拡大縮小することができる。そのために、スケーラ５０は、受信したフレームに対して随意的に別の解析を行って、受信したビデオのいずれかの領域が陰線(black bars)やビデオの周波数成分等を含むか否かを評価してよい。当該属性は、更に、復号化されたビデオをスケーラ５０によって拡大縮小するために用いることができる。例えば、復号化されたフレームの周波数成分は、ヒストグラムを表すデータとして提供されてよく；マット化(matted)された（例えば文字用スペース(letter box)）ビデオ画像の開始及び終了の行及び／又は列が提供されてよい。ビデオ復号器１２から受信された属性データ及びスケーラ５０により形成された属性データを含む属性データは、下流の属性フォーマッタ６２に同じように受け渡される。]
[0043] 同様に、デ・インターレーサ５２は、先ず受信したビデオフィールドのシーケンスを解析してそれらの律動を決定することによって、ビデオのインターレーシングされたフィールドをフレームに変換するために用いることができ、その例は米国特許出願番号１０／８３７，８３５及び１１／３８１，２５４に詳しい。当該律動情報を用いて、受信したフィールドをデ・インターレーサによって組み合わせて、デ・インターレーシングされたビデオのフレームを形成することができる。ビデオフィールドは、フレームを形成するために、例えば、ボブされ(bobbed)及び／又はウイーブされ(weaved)てよい。ビデオの一つのフレームが各二つのフィールドに対して形成されるので、フレームシーケンスの律動はフィールドシーケンスの律動を継続して反映するであろう。このことは、例えば、既に参照した米国特許出願番号１１／６１６，１９２に詳しい。デ・インターレーサ５２によって検出されたような律動情報は、属性フォーマッタ６２に供給される。律動情報は、例えば、デ・インターレーサ５２によって決定されたような律動を識別する数ビットを含んでいてよい。検出された律動の例は、３：２プルダウンパターン、２：２プルダウンパターン、３：３プルダウンパターン、又は同種のものを含むであろう。同様に、律動の不在（即ち律動無し）もまた属性フォーマッタ６２に信号伝達されてよい。随意的には、画面変更(scene change)はデ・インターレーサによって属性フォーマッタ６２に信号伝達されてよい。]
[0044] また、色空間変換器５４は、受信したビデオフィールド／フレームの色空間を所望の色空間に変換することができる。結果としての色空間を表すデータもまた、下流の属性フォーマッタ６２に受け渡されてよい。同様にして、ビデオにおいてルマ(luma)又はガンマ(gamma)を表す指標等（例えばルマ分布のヒストグラム、ガンマ情報、その他としての）を表すデータも、色空間変換器５４から属性フォーマッタ６２に信号伝達されてよい。]
[0045] オーバレイ／イフェクツエンジン５６は、受信したビデオフィールド／フレームをフォーマットして、例としては、ピクチャー・イン・ピクチャー；ピクチャー・オン・ピクチャー；又は静止画像（例えばＴＶガイド等）との連結といった特定のフォーマットでビデオを提示する。属性フォーマッタ６２は、各画像の座標や；各オーバレイの種類（例えば、コンピュータ生成、ビデオ、静止、映像等）を記述しているコンテキスト情報をオーバレイ／イフェクツエンジン５６から受信することができる。]
[0046] ノイズ抑制ブロック４８は、受信したビデオをフィルタリングしてノイズ及び／又はアーティファクト欠陥(artifacts)を除去することができる。属性フォーマッタ６２は、ノイズレベル、信号の種類、信号レベル等に関する情報をノイズ抑制ブロック４８から受信することができる。]
[0047] このように、属性フォーマッタ６２は、他の機能ブロック、例えば、スケーラ５０、デ・インターレーサ５２、色変換器５４、オーバレイエンジン５６、及びノイズ抑制ブロック４８からのビデオ属性を受信する。属性フォーマッタ６２は、受信したビデオ属性がチャネル２４上で符号化されて下流のＦＲＣ１６に確実に受け渡されるように、それらを適切なフォーマットで形式を整えることができる。]
[0048] 属性フォーマッタ６２は、適切なフォーマットで属性データの形式を整え、プロセッサ１４で生成されたビデオフレームに添付する。例えば、各フレームに対して、属性フォーマッタ６２は、当該フレームについての属性を符号化し、この情報をパケット化することができる。各パケットの実際のフォーマットはやや任意である。パケットは属性情報を表すビット又はバイトの形態をとっていてよい。あるいはまた、パケットは、興味の対象となっている属性を特定するテキストデータを含んでいてよく、又はＸＭＬのようなフォーマット言語を用いてフォーマットされていてよい。代替的には、属性フォーマッタ６２は、ＩＴＵ推奨ＩＴＵ−ＢＴ．１３６４−１、又は当業者に理解される他の方法に従って属性データをフォーマットすることができる。]
[0049] いずれにしても、属性フォーマッタ６２によりフォーマットされた属性データは、下流のチャネル符号器６４に受け渡される。チャネル符号器６４は、符号化されたデータがビデオプロセッサ１４から出力されたフレームと引き続き同期するような方法で、補助チャネルにおいて属性データを符号化する。補助チャネルは任意の形態をとっていてよい。例えば、属性データは、別個の物理的リンクによって提供されることのある専用チャネル、又はビデオ若しくは他のデータと多重化されることのある専用チャネルを介して受け渡すことができる。属性データの一つ又は二つ以上のパケットが各フレームと共に生成されてよい。チャネル符号器６４はマルチプレクサを含み、属性チャネルをフォーマットし、それをビデオデータと共に多重化し、ビデオデータの使用されていない部分（例えば垂直ブランク又は水平ブランクインターバル）等を占めるようにすることができる。同様に、チャネル符号器６４は、何らかの方法でビデオデータと同期したデータを伝送可能な別個の物理的チャネルを符号化することができる。例えば、そのチャネルは、同期ストリームであってよく、あるいは各フレームと共に送信されたパケットの非同期伝送であってよい。]
[0050] ＦＲＣ１６では、ビデオプロセッサ１４からのビデオデータはバッファ６６においてバッファリングされ、属性データはチャネル復号器７４及び属性抽出器６８によって属性チャネルから抽出される。結果としての属性情報は、補間器７０に供給されてよく、随意的に律動検出器７２に供給されてよい。]
[0051] もし受け入れたフレームシーケンスについての律動情報を属性情報が含んでいれば、律動検出器７２は機能しなくてよく、あるいはそこで生成された律動データは無視されてよい。一方、補助データがビデオについての律動情報を含んでいなければ、律動検出器７２は、既出の米国特許出願１１／６１６，１９２に詳述されているようにして、バッファ６６にバッファリングされたフレームから律動情報を決定することができる。律動検出器７２により決定された律動情報は、ある特定のフレームがバッファリングされた後にのみ決定可能であり、従ってビデオプロセッサ１４から利用可能な律動情報を１フレーム分だけ遅れさせることがある。]
[0052] 好都合にも、属性抽出器６８により抽出された他の属性データは、ＦＲＣ１６の動作パラメータを調整して補間を向上させるために、ＦＲＣ１６で用いることができる。例えば、オーバレイコンテキスト属性データは、ＦＲＣによってオーバレイ領域を独立して処理するために用いられてよい。ルマ（Ｌｕｍａ）情報は、補間フレームをプリ・フィルタリングする(pre-filter)ために用いることができる（例えば、場面はそれらの暗さに基づいて異なるようにフィルタリングされてよい）。ガンマ情報は、最初にデ・ガンマ(de-gamma)を、次いでリ・ガンマ(re-gamma)を行うために用いることができる。ビデオについての周波数情報は、ＦＲＣ１６のフィルター及びＦＲＣ１６の感度を調整しあるいは選択するために用いることができる。ノイズの種類及び信号レベルを反映する情報は、同様にフィルター及びＦＲＣ１６の感度を調節するために用いることができる。ＦＲＣ１６による属性データの他の用途は、当業者に容易に明らかになるであろう。]
[0053] 特に、ＦＲＣ１６には、元のソースフレームからモーション補償された補間フレームを生成して補間を行うために、ビデオプロセッサ１４によるプルダウンパターンの識別器が設けられている。正確に補間するために、律動インジケータを用いて、ソースにおいて異なるフレーム（繰り返されたフレームとは対照的に）を補間することができ、また、補間パラメータ（例えば補間フレームから補間フレームへの所望の分数モーション(fractional motion)）を調節することができる。]
[0054] 図６は、フレームシーケンスＦ０，Ｆ１，Ｆ２…に基きフレームレート変換器１６により出力された所望の出力フレームシーケンスｆ０，ｆ１，ｆ２，ｆ３…におけるモーションを示している。図６においては、モーションはフレーム番号の関数として図示されている。図示された例では、フレームレート変換器１６はフレームレートを２倍にする（即ちＳＣＡＬＥ＿ＦＲＥＱＵ＝２）。ビデオプロセッサ１４により当初生成されたのより多くのフレームがフレームレート変換器１６により出力されるので、フレームレート変換器１６の補間器７０（図２）は、標準的なモーション補償技術を用いて、その高いレートでの提示のためのフレームを生成している。図示された実施形態では、各補間フレームｆｊはビデオプロセッサ１４により出力されたフレームＦｉに一致していているか、あるいは復号化されたフレームシーケンスにおける二つの隣り合うソースフレーム（例えばＳｉ，Ｓｉ＋１）から形成されている。勿論、補間フレームを生成するに際して二つよりも多くの隣り合うソースフレームが用いられてもよい。] 図２ 図６
[0055] 図示された例では、モーション補償が実行されて、比較的に円滑なモーションが生成され、そしてジャダが減少している。モーションは、フレームｆ０，ｆ１，ｆ２，ｆ３の各々の間の等しい動き等で線形的に補間される。シーケンシャルなソースフレームＳは等しい時間間隔で復号化されてはいないから、任意の線形的に補間されたシーケンスｆ０，ｆ１，ｆ２，ｆ３…は、ビデオプロセッサ１４により同時に復号化されるときに、ソースにおけるフレームＳ０，Ｓ１，…に対応するフレームを典型的には含まないであろう。]
[0056] 特に、ｆ１，ｆ２，ｆ３，及びｆ４がＦ０（あるいは等価のフレームＦ１又はＦ２）及びＦ３の補間（即ちソースフレームＳ０及びＳ１に基く補間）から算出されるとき、ｆ０＝Ｆ１である。各補間されたフレームｆ１，ｆ２，ｆ３，及びｆ４は、Ｆ０からＦ３に（即ち元のソースのフレームＳ０からフレームＳ１に）モーションを進める。出力フレームｆ５は元のソースフレームＳ１（即ちフレームＦ３／Ｆ４）である。出力フレームｆ６及びｆ７は同様にして復号器フレームＦ３／Ｆ４及びＦ５（ソースフレームＳ１及びＳ２に対応）から算出される。]
[0057] ３：２プルダウンパターンの場合、ＦＲＣ１６は、最大で３フレーム離れているバッファリングされたフレーム（即ちＦ０及びＦ３；Ｆ３及びＦ５）に頼り、ＦＲＣ１６は少なくともこの何フレームかの処理遅延を導入するであろう。このように、ｆ１はＦ３の復号化より先には生成されない。同様にして、ｆ６はＦ５の復号化より先には生成されず；ｆ１１はＦ８の復号化より先には生成されない。]
[0058] さて、３：２プルダウンで周波数スケーリングが２である場合、理想的には１０の出力フレームが５つ（３＋２）のバッファリングされたフレーム毎に対して生成される。このこともまた図６から明らかである。結果としてのフレームｆ０，ｆ１，ｆ２，ｆ３，ｆ４，ｆ５…ｆ１０は、Ｓ０，ｌ｛Ｓ０，Ｓ１，１／５｝，ｌ｛Ｓ０，Ｓ１，２／５｝，ｌ｛Ｓ０，Ｓ１，３／５｝，ｌ｛Ｓ０，Ｓ１，４／５｝，Ｓ１，ｌ｛Ｓ１，Ｓ２，１／５｝，ｌ｛Ｓ１，Ｓ２，２／５｝，ｌ｛Ｓ１，Ｓ２，３／５｝，ｌ｛Ｓ１，Ｓ２，４／５｝，Ｓ２に対応する。] 図６
[0059] 対照的に、２：２プルダウンソースに対する結果としてのフレームパターンｆ０，ｆ１，ｆ２，ｆ３…ｆ１０は、Ｓ０，ｌ｛Ｓ０，Ｓ１，１／４｝，ｌ｛Ｓ０，Ｓ１，１／２｝，ｌ｛Ｓ０，Ｓ１，３／４｝，Ｓ１，ｌ｛Ｓ１，Ｓ２，１／４｝，ｌ｛Ｓ１，Ｓ２，１／２｝，ｌ｛Ｓ１，Ｓ２，３／４｝，Ｓ２，ｌ｛Ｓ２，Ｓ３，１／４｝，ｌ｛Ｓ２，Ｓ３，１／２｝…に対応することとなろう。即ち、４つの出力フレームがバッファリングされたフレーム毎に対して生成される。]
[0060] 同様にして、プルダウンパターン無しに対する結果としてのフレームパターン（即ちインターレーシングされたビデオに由来）は、Ｓ０，ｌ｛Ｓ０，Ｓ１，１／２｝，Ｓ１，ｌ｛Ｓ１，Ｓ２，１／２｝，Ｓ２，ｌ｛Ｓ２，Ｓ３，１／２｝…に対応することとなろう。即ち、２つの出力フレームがバッファリングされたフレーム毎に対して生成される。]
[0061] 言うまでもなく、復号化されたフレームＦの律動に応じてバッファ６６内でのソースフレームＳの記憶場所は変わってよい。]
[0062] 標準的には、属性データは、ビデオプロセッサ１４により受信されたような処理されたフレームと一緒に利用可能である。従って、ＦＲＣ１６は、供給された属性データに対して即座に反応することができる。例えば、ビデオプロセッサ１４により供給されたビデオの律動が変化するにつれて、ＦＲＣ１６で用いられる補間パラメータは調整されてよい。このように、認識されたプルダウンパターンから律動無しへの変化が検出されてすぐに、補間は、ソースフレームＳ０，ｌ｛Ｓ０，Ｓ１，１／２｝，Ｓ１，ｌ｛Ｓ１，Ｓ２，１／２｝，Ｓ２，ｌ｛Ｓ２，Ｓ３，１／２｝…に対応する補間フレームの形成を進めてよい。]
[0063] 理解されるであろうように、ＦＲＣ１６に対して提供された属性データは、ビデオプロセッサ１４に由来している必要はない。その代わりに、属性データは、ＦＲＣ１６の上流のどこか別の場所に由来していてよい。例えば、付加的な属性データあるいは既述した幾つかの属性データはビデオ復号器１２によって得られたものでよい。実例としては、モーションベクトルデータは、復号器１２を構成するのに用いられた任意のＭＰＥＧ又は同様な復号器によって抽出されてよく；ソース及び／又はある種の復号化されたビデオ（ＣＶＢＳ、コンポーネント、デジタル、プログレッシブ、インターレーシングされた、ＶＧＡ）は、属性データとして通過させられてよい。更に、ＦＲＣ１６の上流側で利用可能な他の属性データは、当業者にとって明らかであろう。]
[0064] また、ビデオ受信機は復号器１２を含む必要がないことも理解されるべきである。代替的には、外部ソースからの復号化されたビデオが、ビデオプロセッサ１４、フレームレート変換器１６、及び随意的なディスプレイインタフェース１８のみを含む例示的なビデオ装置に供給されてよい。]
[0065] 同様に、ビデオプロセッサ１４及びＦＲＣ１６は異なる物理的デバイス内で構成されていてよい。例えば、ビデオプロセッサ１４はビデオ受信機、ビデオプレーヤ、専用ビデオプロセッサ、又は同種のものの一部を構成していてよく、一方、ＦＲＣ１６はフラットパネルディスプレイ等のディスプレイ装置の一部を構成していてよい。そして、ビデオプロセッサ１４及びＦＲＣ１６間のリンクは、ビデオ相互接続規格、例えばＤＶＩ、ＨＤＭＩ（商標）又はディスプレイポート（登録商標）規格に適合する物理的リンクであってよい。従って、チャネル２２及び２４は相互接続により提供されてよい。例えば、チャネル２２及び２４はＨＤＭＩ（商標）相互接続上で提供される。]
[0066] 更に、属性データは、同期的に提供されるものとして説明されてきたが、ビデオプロセッサ１４でバッファリングされてもよく、ＦＲＣ１６又はなんらかの他のプロセッサ（例えばホストプロセッサ）によってビデオプロセッサ１４から抽出され又は引き出されてよい。従って、ビデオプロセッサ１４は、属性データを記憶するのに十分な記憶メモリを備えていてよく、データにクエリーを行う(querying the data)ための適切なインタフェース（例えばソフトウエアアプリケーションプログラマインタフェース（ＡＰＩ））を提供してよい。随意的には、ビデオプロセッサ１４は幾つかのフレームに対して属性データをバッファリングしてよい。属性データは次いで要求に応じてクエリーされる。]
[0067] 図７はビデオソース及びビデオシンクを含むシステム７００の簡略化された概略ブロック図であり、代替的な実施形態を例示している。例示的なビデオソースはプレーヤ装置７０２であり、例示的なビデオシンクはディスプレイ装置７０４である。プレーヤ装置７０２は、例えば、ＰＣ、ＤＶＤ−ビデオプレーヤ、ＨＤ−ＤＶＤプレーヤ、ブルーレイディスクプレーヤ、又はセットトップボックスであってよい。ディスプレイ装置７０４は、アナログ又はデジタル装置であることのあるモニタ又はテレビ受像機、例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）若しくはプラズマディスプレイ等のフラットパネルディスプレイ、又はデジタルライトプロセシング（ＤＬＰ）若しくは液晶オンシリコン（ＬＣｏＳ）ディスプレイ等のリアプロジェクションディスプレイであってよい。図示された実施形態においては、二つの装置は、ビデオ相互接続規格、例えば、ＤＶＩ、ＨＤＭＩ（商標）、ディスプレイポート(Display Port)（登録商標）、オープンＬＶＤＳディスプレイインタフェース(Open LVDS Display Interface)（ＯｐｅｎＬＤＩ）、又はギガビットビデオインタフェース(Gigabit Video Interface)（ＧＶＩＦ）規格に適合する物理的リンクにより相互接続されていてよい。幾つかの実施形態では、インタフェースは専用信号プロトコルによって統制されていてよい。装置７０２及び７０４は、例えば家庭用娯楽システムのコンポーネントであってよい。] 図７
[0068] 図７に示されるように、プレーヤ７０２はビデオプロセッサ７０６及びビデオインタフェース送信機７０９を含む。プレーヤ７０２の種類に応じて、プレーヤは例えば復号器及びフレーム変換器等の他の構成部品を更に含んでもよいが、明瞭のためビデオプロセッサ及びビデオインタフェース送信機のみが図７に示されている。] 図７
[0069] ビデオプロセッサ７０６は、ビデオデータ７０８を受信し、以下に説明するような種々の処理をビデオデータに対して実行してビデオ画像の見え方や質を向上させる。受信したビデオデータ７０８は、例えば入力ビデオ信号に基いてプレーヤ７０２の復号器構成部品（図示せず）が復号化して出力した復号化されたビデオ信号（例えば画素値のストリーム）であってよい。復号器構成部品は図１のビデオ復号器と同様なものであってよい。復号器により受信された入力ビデオ信号は、あらゆる従来からのソース、例えば衛星、あるいはケーブルテレビ放送チャネル、地上波放送チャネル、ローカルビデオアーカイブ又はメモリ、ハードディスク若しくは光学ディスクのような記憶媒体に由来していてよい。ビデオ信号はアナログ又はディジタルであってよい。ビデオプロセッサ７０６は二つの出力、即ち処理されたビデオデータ７１０及びメタデータ７１２を有する。処理されたビデオ７１０はビデオプロセッサ７０６によるビデオ処理の適用後のビデオデータ７０８である。メタデータ７１２はビデオプロセッサ７０６により適用されたビデオ処理についての情報である。ビデオプロセッサ７０６の詳細については後で説明する。] 図１
[0070] ビデオインタフェース送信機７０９は、処理されたビデオデータ７１０及びメタデータ７１２を受信し、それらをビデオプレーヤ装置７０２及びビデオディスプレイ装置７０４間の物理的リンクを介した伝送に適したフォーマットに符号化する。符号化されたビデオデータ７１０’及び符号化されたメタデータ７１２’の具体的なフォーマットは、装置７０２及び７０４間の物理的リンク（有線又は無線の物理的リンクであってよい）で有効に動作しているビデオ相互接続規格に依存する。例えば、有効なビデオ相互接続規格がＤＶＩ又はＨＤＭＩ（商標）であれば、伝送最小化差動信号(Transmission Minimized Differential Signaling)（ＴＭＤＳ）プロトコルを用いることができる。符号化されたビデオデータ７１０’及び符号化されたメタデータ７１２’はリンクにおいて同一のチャネル又は異なるチャネルを占めていてよい。もし同一のチャネルが用いられていれば、符号化されたメタデータ７１２’は、例えばビデオデータストリームの使用されていない部分（例えば垂直又は水平ブランクインターバル）を占めるように、符号化されたビデオ７１０’と多重化されていてよい。もし多重化チャネルが用いられているならば、メタデータ７１２’はビデオデータ７１０’が伝送される主チャネルとは区別される補助チャネル(auxiliary channel)で符号化されてよい。例えば、もし有効なビデオ相互接続規格がＤＶＩ又はＨＤＭＩ（商標）であれば、ディスプレイデータチャネル(Display Data Channel)（ＤＤＣ）を採用可能である。もし有効なビデオ相互接続規格がＨＤＭＩ（商標）であれば、随意的なコンシューマエレクトロニクスコントロール(Consumer Electronics Control)（ＣＥＣ）チャネル（もし実装されていれば）をＤＤＣチャネルに代えて（又はＤＤＣチャネルと共に）用いることができる。ディスプレイポート(DisplayPort)（登録商標）の場合には、オーグジリアリチャネル(the Auxiliary Channel)を用いることができる。]
[0071] 更に図７に示されているように、ディスプレイ装置７０４はビデオインタフェース受信機７１３及びビデオプロセッサ７１４を含む。プレーヤ装置７０２と同様に、ディスプレイ装置７０４は更に例えばチューナ又は復調器等の他の構成部品を含んでいてよいが、明瞭のため上述した構成部品のみが図７に示されている。] 図７
[0072] ビデオインタフェース受信機７１３は物理的リンクを介してビデオデータ７１０’及びメタデータ７１２’を受信し、それらをビデオプロセッサ７１４で予定されているフォーマットに復調する。受信機７１３の機能はビデオプレーヤ７０２の送信機７０９の機能と相補的である。本実施形態では、復号化されたビデオ及びメタデータはビデオインタフェース送信機７０９に供給されたビデオデータ及びメタデータと同一のフォーマットを有しているので、ビデオディスプレイ装置７０４においてそれらを識別するために同一の参照符号７１０及び７１２が用いられている。このことは必ずしもすべての実施形態で正しいとは限らない。]
[0073] 本実施形態のビデオプロセッサ７１４は、ビデオプロセッサ７０６のビデオ処理能力に一致するビデオ処理能力を有している。このことは、ディスプレイ７０４及びプレーヤ７０２が、ビデオ処理機能が異なることのある他のディスプレイ又はプレーヤと相互接続可能であることが企図されているモジュラーコンポーネントであるという事実に起因し得る。つまり、プレーヤ７０２及びディスプレイ７０４の各々は、それが接続される相補的なコンポーネントのビデオ処理能力に頼ることが見込まれる使用のために、同一のビデオ処理機能機能を備えていてよい。しかしながら、ビデオプロセッサ７０６及び７１４の能力は、全ての実施形態で一致している必要はない。それらは代替的な実施形態では一部同じであってよくあるいは全部違っていてもよい。ビデオプロセッサ７１４は、処理されたビデオデータ７１０及びメタデータ７１２を受信機７１３から受け取り、種々の処理をビデオデータに対して実行する。以下明らかになるように、ビデオプロセッサ７１４により実行される処理の種類は、メタデータ７１２によって少なくとも部分的に決定される。処理が適用された後、処理されたビデオデータ７１６は、他の構成部品に向けてあるいは表示のために出力される。ビデオプロセッサ７１４は後ほど更に詳細に説明される。]
[0074] 図８はビデオプロセッサ７０６（「上流ビデオプロセッサ」）を更に詳細に示している。図示されるように、ビデオプロセッサ７０６は、バッファ８００と、バス８０２と、ビデオを処理するための種々の機能ブロック、即ち色補正ブロック８０４、コントラスト補正ブロック８０６、ガンマ補正ブロック８０８、鮮鋭度エンハンスメントブロック８１０、及びエッジエンハンスメントブロック８１２と、加えてメタデータフォーマッタ８１４とを含む。ビデオプロセッサ７０６の特定の構成部品、例えばバッファ８００及びバス８０２は、同じ名前のビデオプロセッサ１４（図３）の構成部品、即ちそれぞれバッファ５８及びバス６０と類似しており、従ってここでは詳細には説明しない。他の構成部品を以下に説明する。] 図３ 図８
[0075] 色補正ブロック８０４は、表示されたデータを見る人により知覚されることになる色を調整することを目的として、色ビデオデータに種々の動作を実行する。例えば、色補正は、見る人に所望の色合いを認知させるために、基本構成色（例えば赤、緑及び青）の輝度合成(intensity mix)を調整することを伴ってよい。もしビデオデータが例えばＹＣｂＣｒ色空間において表されるならば、色補正はＣｂ及びＣｒの両方に定数を乗ずることによって実行可能である。]
[0076] コントラスト補正ブロック８０６は、ビデオデータにコントラスト補正を実行する。当該技術分野で知られているように、コントラストは、ビデオ波形において「最も白らしい白(whitest whites)」が「最も黒らしい黒(blackest blacks)」からどれくらい離れているかを参照する。もしビデオデータが例えばＹＣｂＣｒ色空間において表されるならば、コントラスト補正は、場合によっては不所望な色シフトを回避するためのＣｂ及びＣｒへの対応する調整を伴って、当該ＹＣｂＣｒデータに定数を乗じることにより実行可能である。]
[0077] ガンマ補正ブロック８０８はビデオデータに対してガンマ補正を実行する。当該技術分野において知られているように、ガンマは、入力ビデオ信号の振幅における変化によりもたらされる表示輝度レベルの変化の度合いに関する、大抵の表示での変換特性の非線形性を参照する。ガンマ補正は一般的には非線形補正である。]
[0078] 鮮鋭度エンハンスメントブロック８１０は、ビデオデータの鮮鋭度を向上させる処理を行う。画像の鮮鋭度は、例えば高周波数輝度(high-frequency luminance)情報の振幅を増大することによって向上させることができる。]
[0079] エッジエンハンスメントブロック８１２は、縁(edge)の見え方をビデオデータ内で強調する処理を行う。ビデオデータの範囲内で表される被写体の縁の見え方は、種々の技術を用いて、縁のぎざぎざした(jagged)見え方を低減することによって強調することができる。]
[0080] 機能ブロック８０４、８０６、８０８、８１０、及び８１２はすべての実施形態で必ずしも区別されている必要はなく、むしろ種々の方法において組み合わされていてよい。例えば、コントラスト及びガンマ補正ブロック８０６及び８０８は単一の機能ブロックに組み合わされてよく、あるいは鮮鋭度及びエッジ・エンハンスメントブロック８１０及び８１２は、単一の機能ブロックに組み合わされてよい。他の組み合わせは当業者によってなされ得るであろう。また、他の種類のビデオ処理を実行する機能ブロックが代替的実施形態において採用されてもよい。]
[0081] 機能ブロック８０４、８０６、８０８、８１０、及び８１２は、バッファ８００に記憶されたビデオデータ７０８に対して動作し、処理されたビデオデータ７１０を生成する。幾つかの実施形態では、種々の機能ブロックによって実行される特定の動作は、ディスプレイ装置７０４上に提示されたグラフィカルユーザインタフェース（ＧＵＩ）により設定可能であってよい。ＧＵＩインタフェースは、ユーザが個々の機能ブロックを起動し又は解除すること、あるいはそれとは別にユーザがＧＵＩコントロールの操作を通して機能ブロックの動作を制御することを可能にする。ユーザは、例えばＧＵＩコントロールが操作されたときに、表示された「テスト」画像上での設定の効果を観察することができるであろう。]
[0082] 機能ブロック８０４、８０６、８０８、８１０及び８１２により実行されたビデオ処理が標準的なものであってよいことは理解されるべきである。しかしながら、これらのブロックの各々は、ビデオ処理についてのそれが実行されているという情報をメタデータフォーマッタ８１４にも伝達し、メタデータフォーマッタ８１４は、次いでこの情報を後述するようにフォーマットしてディスプレイ装置７０４に伝送し、その情報は、もしあればどのような更なるビデオ処理が当該装置のビデオプロセッサ７１４によって実行されるべきかを決定する際に用いられる。]
[0083] より具体的には、メタデータフォーマッタ８１４は、機能ブロック８０４、８０６、８０８、８１０及び８１２により実行されたビデオ処理を表すメタデータを生成する。メタデータは、機能ブロック８０４、８０６、８０８、８１０及び８１２の各々によってメタデータフォーマッタ８１４に提供された情報に基いて生成される。生成されたメタデータは、典型的には、実行されたビデオ処理の種類（例えば、色補正及び鮮鋭度エンハンスメント）と、実行された特定の調整（例えば、Ｃｂ及びＣｒ値を増大減少して色補正を達成した乗数や、高周波数輝度情報の振幅を増大して鮮鋭度エンハンスメントを達成した増大量）との両方を示すが、このことは絶対的に要求されるわけではない。幾つかの実施形態では、実行されたビデオ処理の種類のみが示されてよい。メタデータフォーマッタ８１４は、適切なフォーマットでメタデータ７１２の形式を整え、処理されたビデオデータ７１０に添付する。メタデータのフォーマットは、例えばバイナリ又はテキスト的(textual)であってよい。メタデータ７１２はパケット化されてよく、あるいはデータ構造の形態をとってよい。幾つかの実施形態では、メタデータは、ＸＭＬのようなマークアップ言語で表現されてよい。幾つかの実施形態では、メタデータフォーマッタ８１４は、ＩＴＵ推奨ＩＴＵ−ＢＴ．１３６４−１に従って属性データをフォーマットしてよい。他のフォーマットが代替的実施形態において利用されてよい。]
[0084] 図９を参照すると、図７のビデオプロセッサ７１４（「下流ビデオプロセッサ」）が更に詳細に示されている。ビデオプロセッサ７１４は、バッファ９００と、バス９０２と、ビデオを処理するための一連の機能ブロック９０４、９０６、９０８、９１０及び９１２と、メタデータ復号器９１６とを含む。] 図７ 図９
[0085] バッファ９００は、上流のプレーヤ装置７０２から受信した処理されたビデオデータ７１０を記憶し、一方、機能ブロック９０４、９０６、９０８、９１０及び／又は９１２は、ビデオデータに対して動作して、処理されたビデオデータ７１６を作成する。]
[0086] 機能ブロック９０４、９０６、９０８、９１０及び９１２は、それぞれ機能ブロック８０４、８０６、８０８、８１０及び８１２に類似している。従って、ビデオプロセッサ７１４は、ビデオプロセッサ７０６と同様の種類のビデオ処理を実行可能である。しかしながら、ビデオプロセッサ７０６と異なり、プロセッサ７１４の機能ブロック９０４、９０６、９０８、９１０及び９１２により実行されたビデオ処理は、以下明らかになるように、プレーヤ装置７０２から受信したメタデータ７１２によって少なくとも部分的に決定される。]
[0087] メタデータ復号器９１６は、ビデオインタフェース受信機７１３（図７）から受信したメタデータ７１２を復号化する。復号器９１６の動作はプレーヤ装置７０２（図８）のメタデータ符号器８１４の動作と相補的である。メタデータ復号器９１６は、メタデータの関連する部分を個々の機能ブロック９０４、９０６、９０８、９１０及び９１２に伝達する。例えば、もしメタデータ７１２が、ビデオプロセッサ７０６が色補正及び鮮鋭度エンハンスメントビデオ処理を既に適用したことを示し、且つ色補正及び鮮鋭度エンハンスメントを達成するために実行された特定の調整を示しているとすれば、色補正メタデータは色補正ブロック９０４に伝送されてよく、鮮鋭度エンハンスメント情報メタデータは鮮鋭度エンハンスメントブロック９１０に伝送されてよい。当該情報は、次いで機能ブロック９０４及び９１０によって、ビデオデータ７１０に適用されるべきビデオ処理の決定を支援するために用いられる。] 図７ 図８
[0088] 本実施形態の動作は図１０及び図１１に示されている。図１０はプレーヤ装置７０２内でのビデオプロセッサ７０６の動作１０００を示し、一方、図１１はディスプレイ装置７０４（図７）内でのビデオプロセッサ７１４の相補的な動作１１００を示している。] 図１０ 図１１ 図７
[0089] 図１０を参照すると、ビデオデータはビデオプロセッサ７０６で受信され（Ｓ１００２）、バッファ８００（図８）に記憶される。その後、バッファ８００からの受信したビデオデータに対して機能ブロック８０４、８０６、８０８、８１０及び８１２の一つ又は二つ以上が動作し、処理されたビデオデータ７１０を生成する（Ｓ１００４）。適用されるビデオ処理は、ユーザの好み；ビデオ信号の特質（例えば判定されたその信号の品質）；プレーヤ装置７０２における製造所での初期設定(presets)；あるいはこれらの組み合わせに完全に又は部分的に基いていてよい。動作中の機能ブロックは、ビデオデータを処理しながら、実行されているビデオ処理の種類に関する情報をメタデータフォーマッタ８１４に伝達する。] 図１０ 図８
[0090] 次いで、フォーマッタ８１４は、機能ブロック８０４、８０６、８０８、８１０及び／又は８１２で実行されているビデオ処理を表すメタデータを生成する（Ｓ１００６）。幾つかの実施形態では、メタデータはビデオプロセッサ７０６によるスクラッチ(scratch)から生成される。即ち、メタデータ７１２は、ビデオプロセッサ７０６に由来していてよく、ビデオプロセッサ７０６がビデオデータに適用したビデオ処理のみに基いていてよい。他の幾つかの実施形態では、ビデオプロセッサ７０６は、Ｓ１００２（既出）で当初受信されたビデオデータを提供したのと同一のソースから「ソースメタデータ」を受信してよく、当該メタデータを補完し又は拡張してメタデータ７１２を生成してよい。一つの例においては、プレーヤ装置７０２は、ＤＶＤ等の記憶媒体からビデオデータを読み込んでよく、当該記憶媒体からそのビデオデータと共にソースメタデータを読み込んでもよい（この場合、記憶媒体が「ソース」を構成する）。もう一つの例においては、ソースメタデータは異なるソース −ネットワーク（例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、放送ネットワーク又はケーブルプロバイダネットワーク）から受信してよい。後者の場合においては、ビデオデータ及びメタデータは、衛星又は地上の送信機からプレーヤ装置７０２で受信することができる。ソースメタデータは、例えば、記憶媒体に記憶された又はネットワークから受信された（それぞれに適切であるように）ビデオデータに対して既に適用されているビデオ処理を例えば制作期間(during authoring)に記述してよい。そのような実施形態では、ビデオプロセッサ７０６のフォーマッタ８１４が「メタデータ７１２を生成」しているときに、フォーマッタは、ビデオプロセッサ７０６により実行されたビデオ処理を反映するように、受信したメタデータを補完し又はオーバーライドして(override)よい。この補完すること又はオーバーライドすることは、図１２に示される中間装置１２０４によって実行される類似の処理と同様にして実行されてよく、このことは後で説明する。] 図１２
[0091] メタデータ７１２が、ビデオプロセッサ７０６に由来し、あるいはビデオプロセッサ７０６によって補完され又はオーバーライドされた「ソースメタデータ」を構成しているかにかかわらず、処理されたビデオデータ７１０及びメタデータ７１２の両方は、次いでディスプレイ装置７０４に受け渡される（Ｓ１００８、Ｓ１０１０）。ディスプレイ装置７０４への物理的リンクを介しての伝送に先立ち、ビデオデータ７１０及びメタデータ７１２はビデオインタフェース送信機７０９によって符号化されて、符号化されたビデオデータ７１０’及びメタデータ７１２’としてリンクを介して伝送される。]
[0092] 処理されたビデオデータ７１０と共にメタデータ７１２を符号化して、周知のビデオ相互接続規格に適合する物理的リンクを介して伝送する場合には、その規格に適合する下流の装置が受信することを予定しているビデオデータに影響を及ぼさないようにメタデータを符号化することが有益である（絶対的に要求されるものではないが）。これにより、もし下流のコンポーネントが、メタデータ７１２を利用不可能なあるいは受信することを予定さえされていない時代遅れのコンポーネントであっても、それでもなおそのコンポーネントは処理されたビデオデータ７１０を使用することができる。このことは、古いビデオディスプレイ装置に対するビデオプレーヤ装置７０２の後方互換性(backward compatibility)に貢献する。逆に、符号化されたメタデータを後で説明するように利用可能なビデオディスプレイ装置７０４のようなコンポーネントは、装置間の物理的リンクを介してメタデータが受信されないときにデフォルトな方法（例えば、画面上表示設定メカニズムを用いて指定されたユーザの好みに従う方法）でビデオ処理を単に適用可能な、この種のメタデータを生成しない古いプレーヤ装置に対して後方互換的に製造されてよい。]
[0093] 様々な機能ブロック８０４、８０６、８０８、８１０及び８１２により実行されたビデオ処理機能の特質は、必ずしもビデオフレーム毎に変わるものでないことが理解されるべきである。即ち、ビデオプロセッサ７０６により実行されるビデオ処理は、例外なくすべてのビデオフレームに適用されるであろう。従って、メタデータ７１２は、処理されたビデオデータ７１０の各出力フレームを必ずしも伴っている必要はない。例えば、メタデータ７１２は、システムの初期化ステップの期間に一回だけ、あるいは周期的に例えば所定の時間間隔で伝送されてよい。もちろん、もし帯域が許せば、メタデータは所望に応じてビデオデータの各フレームを伴ってよい。動作１０００はこうして完結される。]
[0094] 図１１を参照すると、符号化されたビデオデータ７１０’及びメタデータ７１２’は、ディスプレイ装置７０４のビデオインタフェース受信機７１３で受信され、復号化され、処理されたビデオデータ７１０及びメタデータ７１２として出力される。処理されたビデオデータ７１０は、ビデオプロセッサ７１４で受信され（Ｓ１１０２）、バッファ９００に記憶される（図９）。メタデータ７１２も受信され（Ｓ１１０４）、メタデータ７１２はメタデータ復号器９１６によって復号化される。メタデータ復号器９１６は、メタデータの関連した部分を個々の機能ブロック９０４、９０６、９０８、９１０及び９１２に伝達する。この情報は、次いで、もしあればどのような更なるビデオ処理がビデオデータ７１０に適用されるべきかを機能ブロックが決定するために用いられる（Ｓ１１０６）。例えば、色補正ビデオ処理がビデオプロセッサ７０６の色補正ブロック８０４によって既に適用されていることをメタデータが示しているならば、ビデオプロセッサ７１４の色補正ブロック９０４は色補正を控えることで冗長な又は不要なビデオ処理を回避することができる。あるいはまた、もし上流の色補正ブロック８０４によって適用された色補正の種類が知られていれば、ビデオプロセッサ７１４の色補正ブロック９０４は、例えば結果としてのビデオ画像の品質に関してディスプレイ装置７１４で更なる利益を提供する他の色補正処理を実行するように選択することができる。例えば、プレーヤ装置７０２が下流のディスプレイ装置７０４の種類、モデル又は能力を認識していないとすると、ビデオプロセッサ７１４は、ディスプレイ装置７０４のカラー画像を提示する能力（例えば画素の数、ドットピッチ又は配置についての情報に基く能力）について上位の情報を有しているであろうから、色補正ブロック８０４によって先に実行された処理を補完する色補正ブロック９０４での更なる色補正処理が役に立つであろうことを判断することができる。] 図１１ 図９
[0095] 機能ブロック９０４、９０６、９０８、９１０及び／又は９１２がビデオデータ７１０に対してもしあれば更なる処理を一旦適用したら、処理されたビデオデータ７１６は下流のコンポーネントに受け渡され、最終的には表示される。こうして動作１１００は完結する。]
[0096] 上述した動作はプレーヤ装置及びディスプレイ装置内のビデオプロセッサに限定されないことが理解されるべきである。同様な方法は他の種類の装置又はコンポーネント内の異なるビデオプロセッサのために用いられてよい。]
[0097] 図１２は代替的な実施形態を例示するシステム１２００の簡略化された概略ブロック図である。システム１２００はビデオソース１２０２、中間装置１２０４、及びビデオシンク１２０６を含む。コンポーネント１２０２、１２０４及び１２０６は、周知のビデオ相互接続規格、例えばＤＶＩ、ＨＤＭＩ（商標）又はディスプレイポート（登録商標）に適合してよいコンポーネント間の物理的リンクによって、図１２に示すように相互接続されている。コンポーネント１２０２及び１２０４間の相互接続はコンポーネント１２０４及び１２０６間の相互接続と同じビデオ相互接続規格に適合していてよい（が、必ずしも適合していない）。ビデオソース及びビデオシンク装置１２０２及び１２０４はそれぞれ図７のビデオソース及びビデオシンク装置７０２及び７０４に類似しているが、それらのビデオ処理能力は、記述のそれら装置に対して具体的に示した範囲を超えていてよい。システム１２００における図７のシステム７００との主要な相違点は、ビデオソース装置１２０２及びビデオシンク装置１２０６間に中間装置１２０４が存在することである。] 図１２ 図７
[0098] ビデオソース１２０２はビデオプロセッサ１２０８を含み、ビデオプロセッサ１２０８は、プロセッサ１２０８のビデオ処理能力が必ずしも図７のビデオプロセッサ７０６の能力に限定されないことを除き、プロセッサ７０６と同様である。明確化のため、ビデオプロセッサ１２０８以外のビデオソース１２０２の構成部品、例えば復号器、フレームレート変換器及びビデオインタフェース送信機（図７のビデオインタフェース送信機７０９と類似していてよい）は省略されている。ビデオプロセッサ１２０８は、ビデオデータ１２１０を受信して、ビデオ画像の見え方又は品質を向上させるために、ビデオデータに対する種々の処理を実行する。ビデオ処理は、事実上すべての種類のビデオ処理、例えば、デ・インターレーシング、逆テレシネ(inverse telecine)、ノイズ除去、色補正、コントラスト補正、ガンマ補正、鮮鋭度エンハンスメント、又はエッジエンハンスメント等を含んでよい。処理されたビデオは処理されたビデオデータ１２１２として出力され、一方、ビデオプロセッサ１２０８により実行されたビデオ処理についての情報は、メタデータ１２１４として出力される。メタデータ１２１４は、既述のメタデータ７１２と同様にして生成されてよく、同様なフォーマットを有していてよい。ビデオプロセッサ１２０８の動作については、後で更に説明する] 図７
[0099] 中間装置１２０４は、独立型(standalone)ビデオ処理コンポーネント、例えば、ここで説明されているように適合するアンカー・ベイ・テクノロジーズ、インク(Anchor Bay Technologies, Inc.)からのＤＶＤＯ（登録商標）ｉＳｃａｎ（商標）ＶＰ５０高解像度オーディオ／ビデオプロセッサ(High Definition audio/video processor)であり、その目的は、下流のビデオシンク装置１２０６に供給されることになるビデオストリームの画像品質を向上させることである。中間装置１２０４は、受信したメタデータ１２１４（例えば、上流のビデオソース１２０２によって適用されたビデオ処理を示すメタデータ）に基いて実行するビデオ処理を調整可能であるだけでなく、装置１２０４により実行された任意の付加的なビデオ処理を反映するように当該メタデータを補完し又はオーバーライドすることも可能である。]
[0100] 中間装置１２０４はビデオプロセッサ１２２０を含む。他の構成部品は明確化のために省略されている。ビデオプロセッサ１２２０は図１３に更に詳細に示されている。] 図１３
[0101] 図１３に示されるように、ビデオプロセッサ１２２０（「中間ビデオプロセッサ」）は、バッファ１３００と、バス１３０２と、ビデオを処理するための種々の機能ブロック１３０４、１３０６及び１３０８と、メタデータ復号器１３１０と、メタデータフォーマッタ１３１２とを含む。バッファ１３００及びバス１３０２は、図９のバッファ９００及びバス９０２に類似しており、従ってここでは詳細には述べない。] 図１３ 図９
[0102] 機能ブロック１３０４、１３０６及び１３０８の各々は、プロセッサ１２２０により受信され（場合によっては装置１２０４内のビデオインタフェース受信機を経由して受信され）、バッファ１３００に記憶されたビデオデータ１２１２に対してビデオ処理機能を実行することが可能である。それら機能は、例えば、デ・インターレーシング、逆テレシネ、ノイズ除去、スケーリング、色補正、コントラスト補正、ガンマ補正、鮮鋭度エンハンスメント、又はエッジエンハンスメントを含んでよい。ビデオ処理ブロックの数Ｎ及びＮブロックにより実行されたビデオ処理の種類は、実施形態ごとに異なっていてよい。結果としての処理されたビデオ１３１６はビデオプロセッサ１２２０の出力の一方を構成する。]
[0103] メタデータ復号器１３１０は、ビデオソース１２０２から受信された（ここでも場合によっては中間装置１２０４内にあってよいビデオインタフェース受信機を経由して受信された）メタデータ１２１４を復号化する。メタデータ復号器１３１０は、その動作において、メタデータの関連する部分を個々のビデオ処理機能ブロック１３０４、１３０６及び１３０８に伝達するということにおいて、図９のメタデータ復号器９１６と同様である。例えば、もし、メタデータ１３１４が、上流のビデオプロセッサ１２０８が既にデ・インターレーシング及び鮮鋭度エンハンスメントビデオ処理機能を適用したことを示しており、当該デ・インターレーシング及び鮮鋭度エンハンスメントを達成するために実行された特定の手続き又は調整を更に示しているとすれば、デ・インターレーシングメタデータはデ・インターレーシング機能ブロックに伝達されてよく、鮮鋭度エンハンスメント情報メタデータは鮮鋭度エンハンスメントブロックに伝達されてよい（それらのようなブロックがビデオプロセッサ１２２０に存在している限りにおいて）。この情報は、次いでビデオデータ１２１２に適用されるべきビデオ処理の決定を支援するために、それらの機能ブロックによって用いられる。] 図９
[0104] メタデータフォーマッタ１３１２は、それが一部をなしているビデオプロセッサにより目下実行されているビデオ処理を表すメタデータを生成することにおいて、図８のメタデータフォーマッタ８１４と同様である。メタデータは、典型的には、実行されたビデオ処理の種類及び実行された特定の調整の両方を表す。しかしながら、メタデータフォーマッタ１３１２は、更に踏み込んで、新たに生成されたメタデータを上流のビデオソース１２０２から受信したメタデータ１２１４と組み合わせて、上流のビデオプロセッサ１２１０又はインスタント（中間）プロセッサ１２２０のいずれかによって適用されたすべてのビデオ処理を反映する一連の複合メタデータ１３１８を生成する。複合メタデータはビデオプロセッサ１２２０の出力の他方を構成する。] 図８
[0105] ビデオプロセッサ１２２０により出力される処理されたビデオ１３１６及び複合メタデータ１３１８は、中間装置１２０４内のビデオインタフェース送信機（図示せず）を通ってからビデオシンク１２０６へ伝送される。]
[0106] 再び図１２を参照すると、ビデオシンク装置１２０６はビデオプロセッサ１２３０を含む。図７のビデオシンク装置７０４と同様に、ビデオシンク装置１２０６は、他の構成部品、例えば中間装置１２０４との物理的リンクを介してデータを受信するためのビデオインタフェース受信機を更に含んでよいが、それらは明確化のために省略されている。ビデオプロセッサ１２３０は図９のビデオプロセッサ７１４と類似しているが、そのビデオ処理能力は必ずしもプロセッサ７１４のビデオ処理能力に限定されない。ビデオプロセッサ１２３０は、処理されたビデオデータ１３１６（図９の処理されたビデオデータ７１０に類似）を受信し、ビデオ画像の見え方又は品質を向上させるためにビデオデータに対して種々の処理を実行する。ビデオ処理は、ビデオプロセッサ１２０８又は１２２０のいずれか一方が可能な任意のビデオ処理、あるいはビデオ処理の他の形態を含んでよい。以下明らかになるように、ビデオプロセッサ１２３０により実行される処理の種類は、メタデータ１３１８によって少なくとも部分的に決定される。メタデータ１３１８は上流のビデオプロセッサ１２０８及び１２２０のいずれか一方又は両方によって実行されたビデオ処理を反映するので、ビデオシンク装置１２０６で実行されたビデオ処理は、直上流のコンポーネント１２０４によって実行されたビデオ処理により影響されるだけでなく、全ての上流のコンポーネント１２０２、１２０４による影響を受ける。この方法は、既に適用されたビデオ処理をビデオシンク装置１２０６で回避するという点における、あるいは上流の複数のコンポーネントにより実行された処理を考慮しながらビデオシンク装置１２０６でビデオ画像の最高品質を達成し得るビデオ処理を実行するという点における効率を更に促進することができる。プロセッサ１２３０がその処理を適用した後に、処理されたビデオデータ１３２０は他のコンポーネントに又は表示のために出力されてよい。] 図１２ 図７ 図９
[0107] 本実施形態の中間ビデオプロセッサ１２２０（図１２、１３）の動作１４００は、図１４に示されている。先ず、上流のビデオプロセッサ１２０８により少なくともあるビデオ処理が既に適用されたビデオデータ１２１２が、場合によっては中間装置１２０４内のビデオインタフェース受信機を介して、ビデオソース１２０２から受信される（Ｓ１４０２）。ビデオデータ１２１２はバッファ１３００（図１３）に記憶される。実行されたビデオ処理を示すメタデータ１２１４もまた受信され（Ｓ１４０４）、メタデータ復号器１３１０により復号化される。メタデータ１２１４のフォーマットは、例えば、バイナリ又はテキスト的；パケット化されたもの；データ構造；マークアップ言語のいずれであってもよく、あるいはＩＴＵ推奨ＩＴＵ−ＢＴ．１３６４−１に適合していてよい。] 図１２ 図１３ 図１４
[0108] メタデータ復号器１３１０は、メタデータの関連する部分を個々の機能ブロック１３０４、１３０６及び／又は１３０８に伝達する。この情報は、次いで、もしあればどのような更なるビデオ処理がビデオデータに適用されるべきかを機能ブロックが決定するために用いられる（Ｓ１４０６）。例えば、もし色補正ビデオ処理がビデオプロセッサ１２０８によって既に適用されていることをメタデータが示しているならば、ビデオプロセッサ１２２０の色補正ブロックは、例えば結果としてのビデオ画像の品質に関して更なる利益を提供する、ビデオプロセッサ１２０８では実行されていない他の色補正処理を実行するように選択することができる。実行される付加的なビデオ処理もまた、ユーザの好みあるいは中間装置１２０４における製造所での初期設定に部分的に基いていてよい。]
[0109] 機能ブロック１３０４、１３０６及び／又は１３０８がビデオデータ１２１２に対して付加的なビデオ処理を実行する（Ｓ１４０８）のに伴い、目下実行中の付加的なビデオ処理に関する新たなメタデータが、関連するブロックにより生成されて（Ｓ１４１０）、メタデータフォーマッタ１３１２に伝達される。この新たに生成されたメタデータは、先に受信されたメタデータ１２１４と組み合わされて、上流のビデオプロセッサ１２１０又はインスタント（中間）プロセッサ１２２０のいずれかによって適用されたすべてのビデオ処理を反映する一連の複合メタデータ１３１８を生成する（Ｓ１４１２）。幾つかの場合には、プロセッサ１２２０により実行されたビデオ処理は、上流で実行されたビデオ処理をオーバーライドしてよい。そのような場合には、メタデータを組み合わせることは、少なくとも幾つかのメタデータ１２１４を新たなメタデータでオーバーライドすること（例えば上書き又は置換）を含んでよい。そのような場合における複合メタデータ１３１８は、プロセッサ１２０８及び１２２０のいずれかによって実行されたビデオ処理のすべてを実際には反映しておらず、ビデオ処理による効果がまだオーバーライドされていないもののみを反映するかもしれないことが理解されるであろう。オーバーライドされたビデオ処理に関連する任意のメタデータの省略は、複合メタデータ１３１８を含むメタデータの量を有利に低減するであろう。他の場合には、プロセッサ１２２０により実行されたビデオ処理は、上流で実行されたビデオ処理を補完してよい。そのような場合には、メタデータを組み合わせることは、既存のメタデータ１２１４に新たなメタデータを付加することを含んでよい。メタデータフォーマッタ１３１２は、結果としてのメタデータ１３１８を適切なフォーマットで形式を整えて、処理されたビデオデータ１３１６に添付する。メタデータ１３１８のフォーマットは、整合性のためにメタデータ１２１４のフォーマットと同じであってよいが、このことは必ずしも要求されない。幾つかの実施形態では、複合メタデータ１３１８は、複合メタデータ１３１８により示されているビデオ処理の各種類をいずれのコンポーネント（ビデオソース１２０２又は中間装置１２０４）が実行したかを、場合によってはこれら二つのコンポーネントに関する固有製品識別子を通じて、識別させることができる。]
[0110] 処理されたビデオ１３１６及び複合メタデータ１３１８は、次いで下流のビデオシンク装置１２０６に場合によってはビデオインタフェース送信機を介して受け渡される（Ｓ１４１４、Ｓ１４１６）。有利なことには、ビデオシンク装置１２０６は、次いで、もしあればどのような更なるビデオ処理を適用するかを、直上流のコンポーネント（中間装置１２０４）により実行されたビデオ処理に関する情報に基くだけでなく、ビデオソース１２０２により実行されたビデオ処理に関する情報にも基いて決定することが可能である。動作１４００はこうして完了する。]
[0111] 上述した実施形態における「ビデオプロセッサ」という用語は、必ずしもハードウエア部品を排他的に参照するものではないことが理解されるであろう。当該用語は、それに代えてファームウエアコンポーネント、ソフトウエアコンポーネント（例えばソフトウエアモジュール又はプログラム）、あるいはこれらの組み合わせを参照してもよい。ビデオプロセッサがソフトウエア又はファームウエアコンポーネントである場合には、種々のビデオ処理動作を実行することが可能な機能ブロックは、当該コンポーネントのサブコンポーネント（例えばサブルーチン）であってよい。ソフトウエア又はファームウエアは、機械可読媒体８１５（図８）、９１７（図９）又は１３１３（図１３）から読み込まれあるいは機械可読媒体に記憶されていてよく、機械可読媒体は、必要に応じて例えば光学ディスク、磁気記憶媒体、又はリードオンリメモリチップであってよい。幾つかの実施形態では、ソフトウエアは、例えばメモリに読み込まれて、ハードウエア（例えば一つ又は二つ以上の一般的なプロセッサ）に、ここで説明したような動作をさせることができる。また、ビデオプロセッサは、必ずしも専用のビデオプロセッサであることは必要でない。むしろ、ビデオプロセッサは、ビデオ処理と無関係であってよい他の種類の処理に加えてビデオ処理を実行する部品であってよい。] 図１３ 図８ 図９
[0112] ここで用いられているような「上流」及び「下流」という用語は、システムを通してのあるいはコンポーネント間でのビデオデータの流れの一般的な方向に関連していることも理解されるべきである。]
[0113] 言うまでもなく、上述した実施形態は例示のみを意図したものであり、決して限定的なものではない。説明された実施形態は、形態、部品の配置、詳細及び動作の順序について様々な変更が可能である。むしろ、本発明は特許請求の範囲で定義されるような範囲に属するすべてのそのような変更を包含するものとして意図されている。]

权利要求:

請求項1
ビデオプロセッサにおいて実行される方法であって、処理されたビデオデータを作成するビデオ処理をビデオデータに対して実行するステップと、前記処理されたビデオデータと前記実行されたビデオ処理を示す生成されたメタデータとを下流のビデオプロセッサに受け渡すステップとを含む、方法。
請求項2
前記ビデオデータはソースから受信され、前記生成されたメタデータは前記ソースから受信したメタデータを補完しまたはオーバーライドすることにより生成される、請求項１記載の方法。
請求項3
前記ソースは記憶媒体またはネットワークである、請求項２記載の方法。
請求項4
前記ビデオ処理は、色補正、コントラスト補正、ガンマ補正、鮮鋭度エンハンスメント、およびエッジエンハンスメントの少なくとも一つを含む、請求項１記載の方法。
請求項5
前記ビデオプロセッサはビデオプレーヤ装置の一部である、請求項１記載の方法。
請求項6
前記ビデオプレーヤ装置は、ＰＣ、ＤＶＤビデオプレーヤ、高密度ＨＤ−ＤＶＤプレーヤ、ブルーレイディスクプレーヤ、またはセットトップボックスである、請求項５記載の方法。
請求項7
前記下流のビデオプロセッサはディスプレイ装置の一部である、請求項１記載の方法。
請求項8
ビデオプロセッサにおいて実行される方法であって、ビデオデータを受信するステップと、上流のビデオプロセッサによって前記ビデオデータに対して実行されたビデオ処理を示すメタデータを受信するステップと、前記メタデータに基いて、更なるビデオ処理がもしあればそれを前記ビデオデータに適用することを決定するステップとを含む、方法。
請求項9
前記ビデオ処理は、色補正、コントラスト補正、ガンマ補正、鮮鋭度エンハンスメント、およびエッジエンハンスメントの少なくとも一つを含む、請求項８記載の方法。
請求項10
前記ビデオプロセッサはディスプレイ装置の一部である、請求項８記載の方法。
請求項11
前記上流のビデオプロセッサはビデオプレーヤ装置の一部である、請求項８記載の方法。
請求項12
中間ビデオプロセッサにおいて実行される方法であって、ビデオデータを受信するステップと、上流のビデオプロセッサにより前記ビデオデータに対して先に実行されたビデオ処理を示すメタデータを受信するステップと、前記受信したメタデータに基いて、付加的なビデオ処理を前記ビデオデータに対して実行し、処理されたビデオデータを作成するステップと、前記処理されたビデオデータと前記受信したメタデータ及び前記実行された付加的な処理を示す新たなメタデータに基く複合メタデータとを下流のビデオプロセッサに受け渡すステップとを含む、方法。
請求項13
前記付加的なビデオ処理が前記先に実行されたビデオ処理を補完する場合に前記新たなメタデータを前記受信したメタデータに付加することにより前記複合メタデータを創出するステップを更に含む、請求項１２記載の方法。
請求項14
前記付加的なビデオ処理が前記先に実行されたビデオ処理の少なくとも一部をオーバーライドする場合に、前記受信したメタデータの少なくとも一部分を前記新たなメタデータでオーバーライドすることにより前記複合メタデータを作成するステップを更に含む、請求項１２記載の方法。
請求項15
前記受信したメタデータの少なくとも一部分のオーバーライドは前記受信したメタデータの前記少なくとも一部分の置換を含む、請求項１４記載の方法。
請求項16
プロセッサにより実行されたときに、処理されたビデオデータを作成するビデオ処理をビデオデータに対して実行するステップと、前記処理されたビデオデータと前記実行されたビデオ処理を示す生成されたメタデータとを下流のビデオプロセッサに受け渡すステップとを前記プロセッサに実行させる命令を記憶している、機械可読記録媒体。
請求項17
前記ビデオデータはソースから受信され、前記生成されたメタデータは前記ソースから受信したメタデータを補完しまたはオーバーライドすることにより生成される、請求項１６記載の機械可読記録媒体。
請求項18
前記ソースは記憶媒体またはネットワークである、請求項１７記載の機械可読記録媒体。
請求項19
前記ビデオ処理は、色補正、コントラスト補正、ガンマ補正、鮮鋭度エンハンスメント、およびエッジエンハンスメントの少なくとも一つを含む、請求項１６記載の機械可読記録媒体。
請求項20
前記プロセッサはビデオプレーヤ装置の一部であり、前記下流のビデオプロセッサはディスプレイ装置の一部である、請求項１６記載の機械可読記録媒体。
請求項21
プロセッサにより実行されたときに、ビデオデータを受信するステップと、上流のビデオプロセッサによって前記ビデオデータに対して実行されたビデオ処理を示すメタデータを受信するステップと、前記メタデータに基いて、更なるビデオ処理がもしあればそれを前記ビデオデータに適用することを決定するステップとを前記プロセッサに実行させる命令を記憶している、機械可読記録媒体。
請求項22
前記ビデオ処理は、色補正、コントラスト補正、ガンマ補正、鮮鋭度エンハンスメント、およびエッジエンハンスメントの少なくとも一つを含む、請求項２１記載の機械可読記録媒体。
請求項23
前記プロセッサはディスプレイ装置の一部であり、前記上流のビデオプロセッサはビデオプレーヤ装置の一部である、請求項２１記載の機械可読記録媒体。
請求項24
プロセッサにより実行されたときに、ビデオデータを受信するステップと、上流のビデオプロセッサにより前記ビデオデータに対して先に実行されたビデオ処理を示すメタデータを受信するステップと、前記受信したメタデータに基いて、付加的なビデオ処理を前記ビデオデータに対して実行し、処理されたビデオデータを作成するステップと、前記処理されたビデオデータと前記受信したメタデータ及び前記実行された付加的なビデオ処理を示す新たなメタデータに基づく複合メタデータとを下流のビデオプロセッサに受け渡すステップとを前記プロセッサに実行させる命令を記憶している、機械可読記録媒体。
請求項25
前記付加的なビデオ処理が前記先に実行されたビデオ処理を補完する場合に前記新たなメタデータを前記受信したメタデータに付加することにより前記複合メタデータを創出するステップを前記命令が前記プロセッサに更に実行させる、請求項２４記載の機械可読記録媒体。
請求項26
前記付加的なビデオ処理が前記先に実行されたビデオ処理の少なくとも一部をオーバーライドする場合に、前記受信したメタデータの少なくとも一部分を前記新たなメタデータでオーバーライドすることにより前記複合メタデータを作成するステップを前記命令が前記プロセッサに更に実行させる、請求項２４記載の機械可読記録媒体。
請求項27
前記受信したメタデータの少なくとも一部分のオーバーライドは前記受信したメタデータの前記少なくとも一部分の置換を含む、請求項２６記載の機械可読記録媒体。
請求項28
処理されたビデオデータを作成するビデオ処理をビデオデータに対して実行するための少なくとも一つの機能ブロックと、前記実行されたビデオ処理を示すメタデータを生成し、前記処理されたビデオデータとともに下流のビデオプロセッサに受け渡すためのメタデータフォーマッタとを備える、ビデオプロセッサ。
請求項29
前記少なくとも一つの機能ブロックは、色補正機能ブロック、コントラスト補正機能ブロック、ガンマ補正機能ブロック、鮮鋭度エンハンスメント機能ブロック、およびエッジエンハンスメント機能ブロックの少なくとも一つを含む、請求項２８記載のビデオプロセッサ。
請求項30
前記ビデオプロセッサはビデオプレーヤ装置の一部である、請求項２８記載のビデオプロセッサ。
請求項31
前記下流のビデオプロセッサはディスプレイ装置の一部である、請求項２８記載のビデオプロセッサ。
請求項32
ビデオデータを受信するためのバッファと、上流のビデオプロセッサによって前記ビデオデータに対して実行されたビデオ処理を示す受信したメタデータを復号化するためのメタデータ復号器と、更なるビデオ処理を前記ビデオデータに対して実行するための少なくとも一つの機能ブロックとを備え、前記更なるビデオ処理は少なくとも部分的に前記メタデータに基いて決定される、ビデオプロセッサ。
請求項33
前記少なくとも一つの機能ブロックは、色補正機能ブロック、コントラスト補正機能ブロック、ガンマ補正機能ブロック、鮮鋭度エンハンスメント機能ブロック、およびエッジエンハンスメント機能ブロックの少なくとも一つを含む、請求項３２記載のビデオプロセッサ。
請求項34
前記上流のビデオプロセッサはビデオプレーヤ装置の一部である、請求項３２記載のビデオプロセッサ。
請求項35
ビデオデータを受信するためのバッファと、上流のビデオプロセッサにより前記ビデオデータに対して先に実行されたビデオ処理を示す受信したメタデータを復号化するためのメタデータ復号器と、前記メタデータに基づいて決定され、処理されたビデオデータを作成する更なるビデオ処理を前記ビデオデータに対して実行するための少なくとも一つの機能ブロックと、複合メタデータを生成し前記処理されたビデオデータとともに下流のビデオプロセッサに受け渡すためのメタデータフォーマッタとを備え、前記複合メタデータは前記受信したメタデータと前記実行された付加的なビデオ処理を示す新たなメタデータとに基いている、中間ビデオプロセッサ。
請求項36
前記付加的なビデオ処理が前記先に実行されたビデオ処理を補完する場合に前記メタデータフォーマッタは前記新たなメタデータを前記受信したメタデータに付加することにより前記複合メタデータを作成する、請求項３５記載の中間ビデオプロセッサ。
請求項37
前記付加的なビデオ処理が前記先に実行されたビデオ処理の少なくとも一部をオーバーライドする場合に、前記メタデータフォーマッタは前記受信したメタデータの少なくとも一部分を前記新たなメタデータでオーバーライドすることにより前記複合メタデータを作成する、請求項３５記載の中間ビデオプロセッサ。